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(54) Systeme de suivf de mobiles en temps reel sur un terrain de sports 



(57) Systeme de suivi automatique de mobiles en 
temps reel sur un espace clos, notamment des joueurs 
evoluant sur un terrain de sports, comprenant une plu- 
rality de cameras (10) en position fixe couvrant i'espace 
clos et permettant des prises de vues des mobiles, des 
moyens d'acquisition (1 , 7. 8) en temps reel de donnees 
numeriques concemant la position instantanee indivi- 
duelle de chacun des mobiles, ces donnees etant obte- 



nues a partir des images fournies parses cameras en 
position fixe (10), et des. moyens (Z) de production des 
trajectoires de chacun des mobiles a partir des donnees 
en temps reel fournies par les moyens d'acquisition. Des 
cameras (1 1 ) en position mobile dont le positionnement 
et le fonctionnement a un instant donne sont comman- 
des par les moyens de production des trajectoires (2), 
permettent d'obtenir des donnees supplementaires sur 
un des mobiles. 
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Description 

Domaine technique 

La presente invention concerne le suivi et la fourni- 
ture en temps reel des donnees concernant les depla- 
cements des mobiles se trouvant sur un espace clos, et 
en particulier un systeme de suivi en temps reel de mo- 
biles sur un terrain, notamment un terrain de sports. 

Etat de la technique 

L'idee de mieux connaitre Pactivite effective de de- 
placements des mobiles (joueurs, arbitres, balle, en- 
gins...) au cours de competitions sportives n'est pas 
nouvelle en soi. Les entraineurs ont toujours cherche a 
mieux decrire, connaitre Pactivite effective de leurs 
sportifs ou de leurs adversaires. Les enseignants. les 
responsables de retransmissions ont toujours cherche 
a representer de facon plus lisible et comprehensible, 
la prestation effective des participants aux evenements 
sportifs. pour celui qui apprend, ou celui qui regarde. 

L'evolution actuelle des retransmissions audiovi- 
suelles d'evenements sportifs se fait, a Pevidence. dans 
le sens de la recherche d'une augmentation de la parti- 
cipation du spectateur. Nous en voulons pour preuve la 
multiplication des cameras, des commentates d'ex- 
perts, la presentation des strategies supposees en de- 
but de rencontre ou encore les debats organises en fin 
de partie. 

Jusqu'a present, les systemes d'observation qui 
existent sont par nature tres peu precis (donnees peu 
exploitables) ou tres lourds a mettre en oeuvre (archi- 
tecture generale, outils de capture, nombre d'opera- 
teurs). D'une maniere generale, dans I'etat de la tech- 
nique, les systemes d'observation et de traitement con- 
cernant Panalyse des sports collectifs et de "duel" exis- 
tants sont peu satisfaisant soit par la pauvrete des in- 
formations qu'ils sont capable de traiter. soit par leur im- 
precision, soit par leur manque de robustesse, soit par 
leur difficulty de mise en place. 

Un systeme destine a traiter des situations de com- 
petition reelle ne doit en aucun cas apporter de modifi- 
cation a ces situations de competition, et il doit s'accom- 
moder des conditions habituelles et diverses de ces si- 
tuations, en particulier quant au lieu ou au moment ou 
elles se deroulent. II ne doit pas, par consequent, ne- 
cessiter la mise en place d'equipement particulier con- 
cernant les joueurs ou les autres mobiles (Capteurs ac- 
tifs, Emetteurs. .) 

D'une maniere generale, les systemes d'observa- 
tion et d'analyse des deplacements et des efforts des 
joueurs de sports de duels ou de sports collectif n'arri- 
vent pas a offrir un suivi a chaque instant des positions 
des differents mobiles sans risque de confusion ou de 
mauvaise identification de ces derniers ou sans mettre 
en place un dispositif susceptible de modifier de condi- 
tions de competition reeltes (Capteur recepteur...). 



Les sports collectifs sont souvent bases sur la pos- 
session du ballon, enjeu de convoitise. Par consequent, 
tous les acteurs participant au jeu sont amenes a se rap- 
procher, voire se confronter physiquement au cours du 

s jeu. Tous ces cas de figures posent des problemes lies 
a Identification et la perte d'identification des mobiles 
resultant d'un phenomene d'occlusion (Joueurs qui se 
confondent, qui passe Tun devant Pautre, qui se tou- 
chent...). Autant de situations qui troublent le traitement 

10 de tous les systemes actuels base sur le suivi des 
joueurs de sports a partir d'images video. 

L'acquisition de donnees concernant le deplace- 
ment des mobiles en sport pose le probleme du calcui 
de la position exacte de chaque mobile (Joueur, bal- 

is ion...) a chaque instant avec le plus de precision possi- 
ble et en minimisant le risque de confusion entre les 
joueurs. On connait dans I'etat de la technique plusieurs 
systemes et precedes ayant Pambition d'observer. 
d'analyser et de traiter les informations relatives aux de- 

20 placements des joueurs en sport collectifs. 

La plupart de systemes existants sont des syste- 
mes tres rudimentaires qui se presentent sous la forme 
de clavier de saisie d'un certains nombre d'informations 
concernant Pobservation et {'analyse des sports collec- 
ts tifs. Ces dispositifs sont gere par des operateurs ma- 
nuels. Certains sont dedies a des operations de comp- 
tage et ne servent qu'a la capture et a la gestion de don- 
nees de type "evenement" (Passe, dribble, tir...) sans 
pouvoir pretendre analyser le deplacement des diffe- 

30 rents acteurs observes. Leur precision est liee a la ra- 
pidite et a la precision d'execution du ou des operateurs 
charges de la saisie des donnees. La mise en oeuvre 
de tels systemes en temps reel est assez contraignante 
et necessite souvent d'y affecter plusieurs operateurs 

35 de saisie. 

D'autres systemes, bases sur le meme principe, ont 
la pretention de traiter et de quantifier le deplacement 
des differents acteurs de la scene analysee. ils font tous 
appel a des operateurs humains qui pointent manuelle- 

J0 ment, sur une representation graphique du terrain ou 
bien sur des sequences numerisees, a partir de claviers 
ergonomiques, de grilles magnetiques ou d'ecrans tac- 
tiles, les positions successives des mobiles participant 
a Pevenement analyse. Les aleas de la frequence de 

-J5 pointage et {'approximation de la position exacte gene- 
rees par Taction des differents operateurs ne permettent 
pas d'extraire des information precises sur la position 
exacte et done la trajectoire reelle et la vitesse instan- 
tanee du joueur. Ces systemes ne permettent done pas 

50 une analyse precise ni une modelisation fidele de Pac- 
tion effective du joueur en termes de quantite et de qua- 
lite de deplacement. De plus, ces systemes ne sont pas 
adaptables aux contraintes de performance que requie- 
re Panalyse de ces parametres dans Pobjectif d'un trai- 

55 tement en temps reel. 

De maniere plus specifique : on connait dans I'etat 
de la technique, des systemes et dispositifs d'acquisi- 
tion de position des mobiles a partir des sources video 
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dans des contextes de sports et en particulier de sports 
collectifs. Ces systemes sont tous confrontes aux pro- 
blemes poses par les occlusions entre les joueurs et 
n'arrivent pas & apporter des reponses concretes a ces 
problemes en dehors de I'intervention d'un operateur 
humain charge de resoudre la perte d'identification d'un 
mobile suivi. Ces systemes sont base sur des architec- 
tures "semi-automatiques'' dans lesquelles le systeme 
de suivi automatique des mobiles se repose sur les cor- 
rections d'un ou de plusieurs operateurs humain en cas 
de conflit ou d'erreur. 

Ces systemes et procecies, bien que pretendant 
pouvoir dtre adaptes & des situations d'analyse et de 
traitement en temps reel ne sont generalement pas 
adaptables aux exigences de rapidite que necessite cet- 
te contrainte. lis ont besoin de faire appel & plusieurs 
operateurs humains et leur temps de reponse est sou- 
vent trop long pour pouvoir pretendre & une analyse fia- 
ble et performante et continu d'un evenement de sports 
collectif en temps reel. De plus, leur methode d'analyse 
d'image se base la plupart du temps sur une soustrac- 
tion de I'image de reference et une analyse des diffe- 
rences d'images trames & trames, or I'etat de Tart dans 
le domaine du traitement de I'image a prouve que ces 
methodes sont tres limites en ce qui concerne la faculte 
de detection et la precision de la detection des differents 
mobiles. Les resultats fournis ne correspondent pas & 
la precision demandee par I'analyse fine que requiere 
retude des deplacements des mobiles en sports collec- 
tifs. 

Selon I'dtat'de la technique, les echecs ou le man- 
que de precision des methodes de traitement d'images 
presentees dans ces systemes sont dues aux raisons 
suivantes: 

1) Systemes bases sur I'analyse des differences 
trame a trame ou sur des differences d'images par 
rapport au fond. Or fetat de I'art a prouve que les 
systemes a difference d'images echouent quant les 
caracteristiques du fond ne sont pas strictement 
constantes et quand les cibles n'ont pas de f rontie- 
res rigides, et souffrent lors de poursuites multi-ci- 
bles. 

2) Systemes bases dur la mise en correspondence 
d'elements structurants des images (Contours, re- 
gions, histogrammes, grafients, potygones...). Les 
systemes de mise en correspondence d'elements 
structurants sont sensibles aux variations dans la 
structure spatiale des cibles; et echouent en pre- 
sence de difficuttes comme les occlusions. 

3) Systemes qui considerent un schema general de 
calcul du mouvement a partir de sequences d'ima- 
ges. Les problemes de ces systemes sont issus de 
Tenorme quantite de calculs qu'ils necessitent et 
done loin d'atteindre une performance temps reel. 

A ce litre, le dispositif decrit dans le Brevet US. 
5,363,297 de Larson et Al. ne propose aucune solution 



pour automatiser la re-identification des "mobiles per- 
dus" et fait appel a des operateurs humains pour proce- 
der a cette re-identification, ce qui tend a alourdir sa mi- 
se ne place et a diminuer sa fiabilite, voir a remettre en 

5 cause son adaptation aux contraintes d'un traitement en 
temps reel. Ces systemes ne presentent qu'un niveau 
d'autonomie tres limite. En effet un mobile perdu ne peut 
dtre retrouve par le systeme de facon automatique; cet- 
te limitation etant directement Ii6e a I'emploi de cameras 

io fixes. 

On connait aussi dans i'etat de la technique, des 
systemes alliant aux moyens d'acquisition video, des 
moyens d'acquisition de postions des mobiles: gonio- 
m6trie, systemes de positionnement global (gps...). Ces 

is systemes sont generalement tres lourd a mettre en 
oeuvre et imposent le port d'equipement particulier par 
les joueurs. lis apportent generalement des modification 
aux situations de competition et ne s'accommodent pas 
des conditions habituelles et diverses de ces situations, 

20 en particulier quant au lieu ou elles se deroulent. Ces 
parametres sont susceptibles d'influencer la continuite 
de I'evdnement en perturbant les contraintes lies a la 
competition. Us se rapprochent des experiences r6ali- 
s6es en laboratoire, de maniere isoie. A ce titre. le dis- 

25 positif decrit dans le Brevet PCT de'DAVER Gil. Jean, 
Gabriel WO 95/08316 component toutes ces restric- 
tions et diverge de maniere considerable de la solution 
que nous proposons. 

Ainsi, ces dispositifs et procedes connus ne per- 

30 mettent pas un traitement et une analyse fiable et con- 
tinue en temps reel des donnees relatives au deplace- 
ment des differents acteurs participant a une manifes- 
tation sportive sans pour autant apporter des- modifies-! 
tions m§me minimes aux conditions des competitions 

35 reelles. 

Expose de I'inventlon 

C'est pourquoi le but de I'invention est de fournir un 
40 systeme du type mentionne ci-dessus mais utilisant des 
cameras video analogiques ou numeriques motoris6es ? 
automatiquement asservies a un moteur intelligent de 
production de trajectoires, qui, par un mecanisme de re- 
qu§tes/reponses, va utiliser les possibilites de comman- 
ds de de cadrage de ces cameras asservies, pour aller le- 
ver les ambiguYtes et pertes d'identification. au cours du 
suivi des mobiles. 

L'objet de I'invention est done un systeme de suivi 
automatique de mobiles en temps reel sur un espace 
so clos, notamment des joueurs evoluant sur un terrain de 
sports, comprenant une pluralite de cameras en position 
fixe couvrant I'espace clos et permettant des prises de 
vues des mobiles, des moyens d'acquisition en temps 
r6el de donnees num6riques concernant la position ins- 
55 tantanee individuelle de chacun des mobiles, ces don- 
nees etant obtenues a partir des images fournies par 
les cameras en position mobile, et des moyens de pro- 
duction des trajectoires de chacun des mobiles a partir 
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des donnees en temps reel fournies par les moyens 
d'acquisition : le systeme comprenant en outre au moins 
une camera en position mobile, asservie aux moyens 
de production des trajectoires, ces derniers comman- 
dant a un instant donne le positionnement et le fonction- 
nement de la ou des cameras en position mobile de fa- 
con a obtenir des donnees supplementaires sur un des 
mobiles. 

Description breve des figures 

Les buts, objets et autres caracteristiques de In- 
vention seront mieux comprises a la lecture de la des- 
cription qui suit faite en reference aux dessins dans les- 
quels: 

la figure 1 represente un schema synoptique d'un 
mode de realisation prefere du systeme selon In- 
vention, 

la figure 2 represente un bloc diagramme d'un tube 
de suivi selon un premier mode de realisation, 
la figure 3 represente un bloc diagramme d'un tube 
de suivi selon un deuxieme mode de realisation, 
la figure 4 represente principalement un bloc dia- 
gramme du moteur de production des trajectoires 
du systeme selon finvention, 
la figure 5 represente principalement un bloc dia- 
gramme du module d'assistance a la vision du sys- 
teme selon invention, et 

la figure 6 represente Palgorithme de suivi des mo- 
biles effectue dans chacun des tubes de suivi du 
systeme selon invention. 

Description detail lee de finvention 

Etant donne I'etat de la technique, la presente in- 
vention a pour but de fournir un procede audio video et 
informatique d'acquisition et d'analyse automatique des 
deplacements relatifs aux positions a chaque instant 
d'une ou de plusieurs personnes et objets evoluant sur 
un terrain de sport. 

Plus particulierement invention concerne un sys- 
teme autonome pour le suivi des joueurs et la fourniture 
en temps reel des donnees concernant le deplacement 
des acteurs identifies d'une rencontre sportive, a partir 
d'images video uniquement. II permet d'acceder en 
temps reel a une source d'informations nouvelles con- 
cernant la quantification et revaluation des performan- 
ces physiques et tactiques des acteurs sportifs. II s'agit 
d'un systeme automatique dans lequel ['intervention hu- 
maine est quasi inexistante, ils est totalement autonome 
et susceptible d'adapter le type de traitement necessai- 
re a la situation et au contexte donne par I'utilisation des 
techniques de ('intelligence artificielle (Base de connais- 
sance, planification, ordonnancement des taches ..) 

A cet effet, la presente invention concerne un pro- 
cede audio video et informatique d'acquisition et d'ana- 
lyse des deplacements relatifs aux positions a chaque 



instant d'une ou de plusieurs personnes et objets evo- 
luant sur un terrain de sport presentant les caracteristi- 
ques ci-dessous: 

5 A/ Un dispositif de prise de vue et de gestion des 

tubes 

B/ Une moteur de suivi des mobiles et de recons- 
truction automatique des trajectoires 
C/ Un module d'aide a la vision 
D/ Un module de parametrage des images numeri- 
ques 

E/ Une station operateur 
F/ Un reseau Haut Debit 
G/ Un serveur d'images 
H/ Un serveur de donnees brutes 
I/ Un serveur de donnees traitees 

A/ Organe de prise de vue et de gestion de tubes 

Comme illustre sur la figure 1 , ii est compose d'un 
dispositif de prise de vue video (10) et d'un ensemble 
de tubes (1 ), chaque tube etant relie a une camera- 
La tache de production des trajectoires identifies 
des acteurs de la scene observee est assuree par le 
fonctionnement conjoint du dispositif de cameras (10). 
de I'organe de gestion des tubes de suivi (1), de I'organe 
moteur de production des trajectoires (2) et de I'organe 
d'assistance automatique a la vision (3). Les tubes de 
suivi sont des processus independants qui ont pour 
fonction d'observer le champ vu par une source video, 
d'en extraire les mobiles pergus et de les suivre le plus 
longtemps possible. Les tubes de suivi renseignent de 
facon synchrone le Moteur de Production de Trajectoi- 
res (2) par I'intermediaire d'un reseau informatique haut 
debit (6), d'un serveur d'images (7) et d'un serveur de 
donnees brutes (8). Le moteur de production des trajec- 
toires fusionne les donnees issues des differents tubes 
dans un modele general de la scene, reconstitue les tra- 
jectoires (positions 3D et synchronisation temporelle) et 
gere les identifications. En cas de probleme d'identifica- 
tion, il a a son service, un ensemble de ressources pour 
lui permettre de recouvrer de facon dynamique Identi- 
fication des trajectoires. Ces ressources sont consti- 
tutes d'un ensemble de cameras motorisees (11). des 
interfaces de pilotage et de bibliotheques de traitements 
d'image specifiques pour la reconnaissance des joueurs 
et du ballon. Voir la description du module d' Assistance 
a la vision (3). 

Le dispositif de prise de vue est compose d'une ou 
plusieurs cameras video (10), couvrant I'espace de jeu 
a analyser et caracterise en ce que les contraintes con- 
cernant la prise de vue (position et orientation des ca- 
meras) sont simples. Les recommandations concernant 
le positionnement des cameras se resument a les situer 
le plus en hauteur possible (compte tenu de I'architec- 
ture du site et des moyens mis en oeuvre), de maniere 
fixe (sans mouvement ni zoom) et offrir une image per- 
mettant dans son cadre la visualisation de reperes dont 
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les dimensions reelles (metriques) sont connues (lignes 
du terrain, elements d'architecture, reperages). Le dis- 
positif ne necessite done en aucun cas, de positionne- 
ment precis des dites cameras ni meme la connaissan- 
ce exacte de ce positionnement. 5 

La solution developpee ici, etant strictement basee 
sur I'analyse numerique des images, deux solutions 
peuvent etre retenues pour le choix des cameras : soit 
des cameras video analogiques standard, soit des ca- 
meras video numeriques qui offrent I'avantage de ne io 
pas necessiter de numerisation. 

En ce qui concerne le nombre et le recouvrement 
des cameras, plusieurs posslbilites sont offertes. Les 
sports se pratiquant sur petits terrains comme le basket- 
ball ou le handball necessitent la mise en place de deux *5 
cameras disposees soit k la verticale du terrain en vue 
aerienne, soit de maniere inclinee au coin du terrain en 
angle & 90°. Cependant, il est preferable de beneficier 
d'un dispositif de 4 cameras, chaque camera couvrant 
un quart du terrain en vis-&-vis et formant un angle de 20 
90* entre elles. Les sports se pratiquant sur grand ter- 
rain comme le football, le rugby ou le football americain 
necessitent la mise en place d'un dispositif plus lourd 
pouvant aller jusqu'& 16 cameras, en fonction des pos- 
sibility physiques d'installatjon et du niveau de preci- 
sion de la mesure souhaitee. 

Un tube de suivi represente, au niveau de I'archi- 
tecture globale du systeme, un ensemble de materiels 
et logiciels destines k renseigner le moteur de produc- 
tion des trajectoires (2), par Pintermediaire du reseau 
infdrmatique haut debit (6), du serveur d'images (7), et 
du serveur de donnees brutes (8). II alimente le serveur 
d'images (7) avec les images numeriques compressees 
de sa source video analogique, et il effectue les traite- 
ments de vision par ordinateur (traitements du signal 
image, detection de primitives, poursuite de 
mobiles, ...), dont les resultats sont transmis au serveur 
de donnees brutes (8). 

Le module local de suivi des mobiles est caracterise 
en ce qu'il effectue.. image par image le suivi des mobiles 
detectes en relevant les coordonnees et en enregistrant 
leurs positions respectives. 

Les tubes de suivi comportent les moyens logiciels 
et materiels suivants : 

un module d'acquisition de donnees video numeri- 
ques est constitued'une camera (10), (si les came- 
ras utilisees sont analogiques il faut disposer des 
moyens de numerisation, inclus dans les schemas 
dans ce bloc fonctionnel (10)). 
des modules de traitement numeriques comportant 
des algorithmes de traitement elementaires (dits de 
bas niveau), configurables par I'intermediaire du 
module de parametrage (4) et des stations opera- 
teur (5). et des moyens de calcul rapides pour les 
mettre en oeuvre. Ces modules travaillent ensem- 
ble de facon cooperative est sont bases sur les trai- 
tement suivant: seuillages, seuillages par hystere- 



sis, detection de contours, detection de facettes, 
histogrammes, histogrammes de couleur. opera- 
teurs de convolution, medians, segmentation colo- 
rimetrique, masques, algorithmes de suivi de per- 
sonnes multiples adaptes aux conditions de ren- 
contres de sports collectifs, ... 
des modules utilitaires, ce sont des chames de trai- 
tements automatiques qui remplissent des tone- 
tions utiles et necessaires au suivi, comme des trai- 
tements de reduction du bruit dans I'image. de de- 
compositions pyramidales pour preselectionner les 
zones de Timage susceptibles de contenir des ob- 
jets interessants, I'adaptation des modeles consta- 
tes dans I'image (nettoyage des elements non per- 
tinents de I'observation de la scene). Ces chames 
de traitement sont utilisees, par exemple, pour an- 
nuler les petits deplacements et vibrations des ca- 
meras fixes, par reconnaissance des elements du 
decor de la scene et repositionnement des parame- 
tres calcules de la camera. 

Les traitements de I'image de bas niveaux (detec- 
tions des primitives de I'image, gestion des pixels, ...) 
sont inclus dans le meme bloc fonctionnel que I'acqui- 
sition des donnees video numeriques (un tube de suivi), 
mais leur mise en oeuvre technologique peut revetir dif- 
ferentes formes, selon le deploiement de materiel. /ar- 
chitecture du site. On peut distinguer deux formes de 
fonctionnement : 

Fonctionnement de type 1 (Figure 2) : L'image vi- 
deo (1 3) est numerisee et traitee directement par un cal- 
culateur (20) couple & la source d'images video nume- 
riques. pour fournir les trajectoires des mobiles au ser- 
veur de donnees brutes (8), d'une part et pour fournir 
des images numeriques compressees de facon adap- 
tative au serveur d'images (7) pour stockage. On entend 
par compression adaptative, le procede qui permet de 
ne stocker que les pixels relatifs aux mobiles de l%sce- 
ne, et ignorer ceux qui concernent le decor et le fond de 
la zone observee. 

Fonctionnement de type 2 (Figure 3) : L'image vi- 
deo est numerisee et compressee par une methode 
standard (de type M-JPEG), transmise, par I'interme- 
diaire du reseau haut debit (6) au serveur d'images (7). 
Le calculateur dedie au traitement de cette sou rce video 
(20), devra decompressor les images avant de pouvoir 
effectuer tout traitement. 

On entend par calculateur de suivi (20), les moyens 
de calcul informatiques qui mettent en oeuvre les algo- 
rithmes de suivi et de detection des mobiles, bases sur 
des chatnes de traitement d'image. ces moyens de cal- 
culs se presentent physiquement sous la forme de sta- 
tions de travail dediees & ces algorithmes ou bien de 
processeurs residents sur des cartes de numerisation 
et de traitement d'images specialisees. 

La figure 6 illustro le schema de fonctionnement de 
I'algorithme de suivi (21 ). Cet algorithme qui effectue le 
suivi local des mobiles au niveau d'un tube de suivi est 
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different selon le type de fonctionnement choisi : 

Fonctionnement de type 1 : 

On utilise deux taches paralleles qui partagent 
les donnees numerique du procede de numerisa- 
tion du tube. 

Pour chaque nouvelle image (30) ; une tache (a) 
prend en charge la compression (22) s la transmis- 
sion (24) de I'image au serveur d'images (7) et la 
mise a jour de la base de synchronisation entre les 
tubes (40). Une autre tache, effectue le suivi des 
mobiles presents dans I'image courante (31, 32, 
33). 

Description du fonctionnement de la tache sp6- 
cifique de suivi (31, 32, 33) : 
stabilisation de I'image (vibrations, erreurs de 
numerisation. ...) 

rectification automatique du parametrage entre 
I'image et la realite. 

les mobiles potentiels de I'images sont detectes : 
s'ils correspondent a des cibles en cours de traite- 
ment, ces cibles sont confirmees et Ton procede a 
la mesure de leur position dans I'image courante. 
apres une prediction de cette mesure. On met a jour 
les parametres de suivi pour cette cible (vitesse, 
taille relative, etat, ...) 

les cibles qui n'ont pas pus etre confirmees, ou qui 
sont sorties du champ de la camera sont abandon- 
nees par ce tube et le moteur de production (2) en 
est informe. 

On transmet les differentes mesures au serveur de 
donnees brutes (8). 

Fonctionnement de type 2 : 

L'image de la camera (10) du tube est numerisee 
(12), compressee et transmise au serveur de d'ima- 
ges (7). Le calcutateur (20) dedie au tube, acquiert 
cette image la decompresse et procede aux traite- 
ments d6crits dans le fonctionnement (31, 32, 33). 

La logique de suivi au niveau des tubes n'est pas 
fondamentalement differente, dans le sens ou, les mo- 
biles sont d'abord suivis au niveau de chaque source 
video, et ensuite mises en correspondance par le mo- 
teur (2); seule la mise en oeuvre physique differe. 

B/ L'Orqane Moteur de Production des Trajectoires (2) 

Le moteur de production des trajectoires illustre sur 
la figure 4 a pour fonction de fusionner les informations 
de suivi issues des differents tubes de suivi (1), de re- 
constituer les deplacements des mobiles dans le plan 
du terrain en s'appuyant sur le parametrage (4), et de 
fournir pour chaque mobile une information d'identifica- 
tion (nom et numero de joueur, arbitres, ballon). Le fonc- 
tionnement du moteur de production des trajectoires est 
base sur la mise en oeuvre d'algorithmes issus de tech- 
niques de rintelligence Artificielle dans la mesure ou il 



comporte un module devaluation et d'interpretation de 
la situation presente (45) (configuration spatio-tempo- 
relle des mobiles, nombre de cibles non identifies, ...), 
d'une base de regies pour le choix des criteres perti- 

5 nents a la resolution de cette situation (42), et d'un mo- 
dule de dialogue et de pilotage logiciel d'organe de per- 
ception commandes (Assistance a la Vision). 

Pour ce faire il a a sa disposition une interface de 
dialogue avec le module d' Assistance a la Vision (47) 

10 qui compte un ensemble de cameras motorisees (11) 
qu'il peut asservir a la position d'un mobile en deplace- 
ment. Ce dernier repond aux requetes du Moteur de 
Production des Trajectoires (2) en effectuant des traite- 
ments specifiques (53) sur les situations observees, 

15 comme faire un agrandissement de la situation proble- 
matique et ainsi extraire Pinformation d'identification par 
des traitements de reconnaissance des caracteres in- 
trinseques de acteurs, mais aussi par des moyen de re- 
connaissance automatique de caracteres (exemple : re- 

20 connaissance automatique du numero du maillot du 
joueur). 

Le module de Production des trajectoires (44) ac- 
cede aux donnees fournies par les tubes de suivi 
25 (1), par I'intermediairedu Serveur de Donnees Bru- 
tes (3) et du reseau (6). II construit et maintient une 
Table des Correspondences (41) entre les diffe- 
rents mobiles suivis par les differents tubes de suivi. 
Cette table des correspondences contient les liens 
30 entre les tubes de suivi pour chaque mobile. Ainsi, 
en utilisant conjointement la Table de Synchronisa- 
tion Temporelle (40), il reconstruit la trajectoire reel- 
le mesuree de chaque mobile en considerant les 
mesures les plus significattves. Ce module a aussi 
35 en charge d'attribuer a chaque mobile suivi son 
identification reelle (nom et numero du joueur, arbi- 
tre, ballon). Quand une cible est suivie sans encom- 
bre et que son identification est connue. les don- 
nees sont envoyees au serveur de donnees traitees 
40 (9). 

Le module devaluation de la Situation Presente 
(45) permet de detecter les cas de perte de I'iden- 
tification d'une cible, les cas de confusion et les pro- 
bleme rencontres au cours du suivi. il transmet une 
45 Hste des problemes rencontres au module de gene- 
ration des requetes (46) aupres de I' Assistance a la 
Vision (3). 

Le module de Generation des Requetes (46) formu- 
le : pour chaque probleme rencontre par le module 
so devaluation de la situation, une requete aupres de 
Torgane d'assistance a la vision (3). Pour ce faire, 
il utilise les informations de la Base de Regies de 
comportement (42), pour choisir le meilleur traite- 
ment adapte au probleme rencontre, cette base est 
55 ressemble dans son fonctionnement a une Base de 
Connaissance d'un systeme expert, car elle con- 
tient des element heuristiques et s'enrichit au fur et 
a mesure des traitements. Le Module de Genera- 



30 



35 



40 



45 



SO 



6 



11 



EP 0 847 201 A1 



12 



tion des requites utilise aussi une Table des Cho- 
res ^Identification des Mobiles (43), table gen6r6e 
k partir des donnees dynamiques de parametrage 
des classes de mobiles presents dans la scene 
(14). Une fois le meilleur traitement determine, le 
genirateur de requite formule un message de re- 
quite que Nnterface de Dialogue avec ("Assistance 
k la Vision se charge de transmettre physiquement 
via le reseau. Ce message contient le type de re- 
quete (par exemple, re-identification, dinombre- 
ment....), I'urgence avec laquelle cette requite doit 
itre traitee, le delai maximum pour fournir une r6- 
ponse, les donnees de poursuite si la requete con- 
cerne une cible en deplacement et la methode de 
traitement d'image k employer pour risoudre le pro- 
blime. 

L'lnterface de Dialogue avec I'Assistance Vision 
(47) se charge de transmettre physiquement les re- 
quites via le riseau ; et de r6ceptionner les repon- 
ses de I'Assistance Vision. Lorsqu'elle recoit des 
messages de reponse, elle les transmet au module 
de Production des trajectoires (44) qui utilise ces 
elements de reponse pour complimenter la base de 
donnees traities, ri-identifier les cibles perdues, 
retrouver les cibles apres une grosse confusion. La 
situation est alors k nouveau evaluee par (45), et 
de nouvelles requites seront formulees. Ainsi, par 
un fonctionnement boucle, le systime est a mime 
de risbudre de facon autonome les problimes de 
suivi et ^identification des tous les joueurs, de I'ar- 
bitre et du ballon. 

Un module mathematique de calcul et de represen- 
tation graphique caractirise en ce qu'il ginere des 
fichiers informatiques comportant des elements de 
calcul relatifs au deplacement des mobiles appar- 
tenant k la scene analysee et destines k alimenter 
les elements en aval du systime (comme le mode- 
leur 2D/3D, le module de rendu et d'analyse des 
performances des joueurs. le module de gestion de 
base de donnees). U information fournie k ces mo- 
dules se prisente sous la forme d'une base de don- 
nees des positions successives des difterents mo- 
biles identifies, enrichie des informations des con- 
soles opirateurs (6v6nements, (5)), et de divers 
traitements directement lies k ces positions, com- 
me par exemple les calculs de vitesse et d'acceie- 
ration. 

C/ L'Orqane d' Assistance k la Vision (3) 

L'organe d' Assistance automatique k la vision illus- 
tre sur la figure 5 r6ceptionne les requites (50) du mo- 
teur de production (2), ces requites comportent la des- 
cription des traitements k effectuer et I'ordre de priorite 
k y accorder. 

L'organe d'Assistance k la vision automatique est 
caractirisi en ce qu'il comporte des moyens de percep- 
tion motorisis (1 1 ). que le moteur de production de tra- 



jectoires peut asservir et piloter pour ripondre k des be- 
soins spicifiques issus du traitement global de la scene, 
et ainsi risoudre des problimes de suivi sur certains 
mobiles, confirmer une identification incertaine, propo- 
5 ser un zoom "intelligent" aux opirateurs (5), ... 

L' Assistance k la Vision (3) recoit les requites du 
Moteur de Production des Trajectoires (2) sous la 
forme de messages. Ces Messages sont decodes 

10 par l'lnterface de Dialogue avec le Moteur (55). 

Les requites sont transmises au Module d'Ordon- 
nancement et de Planification (51 ), qui. en fonction 
de I'ordre d'urgence des requites qui lui sont sou- 
mises et des ressources disponibles (cameras mo- 
is biles (11 ), calculateursde numirisation et de traite- 
ment d'images (53) et (56)), va serialiser ces requi- 
tes et commander les modules adiquats. Chaque 
requite est alors convertie en series de comman- 
des pour les actionneurs des cameras mobiles par 

20 ie pilotage logiciel des camiras (52), afin de fournir 
le cadrage demandi. Ce cadrage peut itre fixe 
(exemple : demande d'observation d'une zone de- 
finie du terrain) ou bien asservie k la position d'un 
mobile en deplacement, dans ce cas le cadrage<de- 

25 mande represente le mobile k identifier en gros plan 
au fur et k mesure de son diplacement. L'image 
formee est numirisie (56) : le planificateur (51).d6 : 
clenche le traitement d'image qui lui a ete demande 
et essaie d'identifier le (ou les) critire(s) de la re- 

30 quite. 

En fin de traitement, ie module de controle d'exe- 
cution (54) fournie une evaluation de la qualite de 
la riponse k la requete. Si cette evaluation est po- 
sitive, elle est transmise avec les informations four- 

35 nies par la chaTne de traitement (53), via I'interface 
de dialogue avec le Moteur de production (55), et 
le riseau (6), au moteur de production. Dans le cas 
contraire, le module de contr6le d'execution raffine 
les parametres et la chatne de traitement est exe- 

40 cutie k nouveau: ce processus est riiteri sur les 
images courantes tant que la limite de temps impar- 
tie n'est pas dipassee. Si les traitements deman- 
dis n'aboutissent pas, un constat d'ichec est re- 
tourne au Moteur de Production (2). Celui-ci sou- 

45 mettra plus tard une nouvelle requite basie sur 
une autre evaluation de la situation. 

D/ L'organe de paramitraqe du systime (4) 

50 L'organe de parametrage (4) est compose d'une in- 
terface de calibrage des tubes, d'une interface de para- 
mitrage de traitement d'images et d'une interface 
^identification ginerale. Cet organe assume la liaison 
entre la stations opirateurs (5) et le module de gestion 

55 des tubes (1). Les reglages sont effectues par un des 
operateurs humains do la station opirateurs (5) dans 
une phase prialable au traitement. Its sont effectues 
une fois pour toute sur les differentes interfaces reliees 
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aux ecrans servant de base au traitement numerique. 

L'interface de parametrage des tubes opere un cal- 
cul par projection inverse de perspective sur les images 
numeriques en provenance des tubes (1 ) afin de retrou- 
ver les coordonnees des positions des mobiles acqui- 
ses dans le plan de I'ecran, dans un repere orthonorme 
relatif a la surface de terrain de jeu. Ce traitement pou- 
vant etre realisees a la source (en temps reel )ou a pos- 
teriori (en temps legerement differe). 

L'interface de parametrage de traitement d'images 
permet a I'operateur humain de la station operateurs de 
selectionner a I'aide d'une bibliotheque, les parametres 
les plus pertinents pour traiter le type d'image numeri- 
que que les tubes (1) vehiculent. 

L'interface d'identification generale permet a Tope- 
rateur de saisir les parametres concernant la rencontre 
de sport a traiter ainsi que Identification des mobiles 
suivi par le systeme. 

E/ La stations operateurs (5) 

La stations operateurs (5) est composee d'un mo- 
dule de gestion des evenements et de suivi de balle 
(17) , d'un module de reconnaissance vocale (18). d'un 
module de controle et de correction (19). 

Le module de gestion des evenements et de suivi 
de balle (17) est generalement compose d'un clavier 
specialist et d'un ecran de visualisation. II est caracte- 
rise en ce qu'il permet a un ou plusieurs operateurs hu- 
mains de saisir en temps reel ou en temps differe des 
informations concernant le jeu. Ces informations se de- 
finissent sous la forme d'evenements lies au jeu (temps 
morts, temps de jeu effectif...) ou aux acteurs partici- 
pants au jeu (Tir. passe : interception, duel...) et sont ca- 
racterisees en ce qu'elles ne peuvent pas etre generees 
par le systeme de maniere automatique. II peut s'agir 
d'information concernant la possession du ballon et per- 
mettant, en correlation avec les informations fournies 
par les tubes (1) , au moteur de production des trajec- 
toires (2) : de reconstruire le trajet du ballon. Une fois 
ces evenements saisis par les operateurs, ils sont aussi 
tot transmis par le reseau haut debit a une des tables 
de correspondance(41 ) du moteur de production de tra- 
jectoires (2) et enregistres dans une table de maniere 
chronologique pour etre exploite par le serveur de don- 
nees traitees (9). Ces informations sont saisies par I'in- 
termediaire de peripheriques standards (souris, cla- 
viers...) ou bien specifiques (claviers adaptes a la saisie 
d'evenements sportifs ou bien par le module de recon- 
naissance a la parole (18). 

Le module de controle et de correction (19) aide le 
moteur de production des trajectoires (2) a resoudre des 
problemes vraiment inextricables dans des contraintes 
de temps reel. Ce module est vu par le moteur de pro- 
duction des trajectoires (2) comme une ressource 
d'identification, dans le cas ou les procedures automa- 
tiques n'aient pas pu resoudre les problemes poses 
dans les contraintes de temps qui leur etait imparti. Le 



moteur de production des trajectoires (2) : commande 
alors a {'assistance vision, sous la forme d'une requete. 
la presentation a I'operateur de correction (19), d'une 
vue en gros plan du mobile problematique et la deman- 
s de d'information manquante. Apres reponse de ce der- 
nier, I'information est vehiculee par I'assistance a la vi- 
sion (3) sous la forme d'une reponse. 

F/ Le reseau haut debit (6) 

w 

Le reseau haut debit assure le dialogue et le che- 
minement des donnees entre les differents organes du 
systemes. Le debit de ce reseau doit etre suffisamment 
eleve pour supporter le transf ert en temps r6el d'images 
is compressees provenant de plusieurs sources, et il doit 
comporter des procedures de secours pour assurer i'in- 
tegrite des donnees en cas de problemes de transmis- 
sion. 

20 G-H Les serveurs d'images numeriques (7) et de don- 
nees brutes (8) 

Les serveurs d'images numeriques (7) et un ser- 
veur de donnees brutes (8) sont composes de stations 
informatiques a stockage rapide et caracterises en ce 
qu'il recuperent les images numeriques et les donnees 
brutes produites par les differents tubes et les mettent 
a disposition du moteur de reconstruction de trajectoires 
(2) a des fins de traitement. Le transf ert de ces donnees 
est assume par le reseau informatique haut debit (6). 

1/ Le serveur de donnees traitees (9) 

Le serveur de donnees traitees (9) est alimente par 
le moteur de construction de trajectoires via le reseau 
haut debit charge de recuperer les differentes positions 
de chaque mobile identifie et suivi par le moteur a cha- 
que instant. 

Le serveur de donnees traitees est caracterise en 
ce qu'il comporte 

un module de presentation interactive (60) et une 
base de donnees (61). 

Le module de presentation interactive (61) permet- 
tant de visualiser les differents traitements issus du cal- 
culs des positions des mobiles est caracterise en ce qu'il 
comporte: 

a) Une interface de presentation des trajectoires 
statiques en 2D (sur plan a plat, vue de dessus) 
comportant un module de selection de gabarits pre- 
nant en compte la duree de la scene analysee, le 
sport concerne ainsi que les contraintes liees au for- 
mat d'edition des dites representations graphiques. 

b) Un module d'animation graphique 2D permettant 
de visualiser une sequence analysee sous la forme 
d'une animation graphique vue de dessus rejouant 
la scene choisie a vitesse reelle, au ralentie ou "pas 
a pas" et caracterise en ce qu'il comporte des outils 
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de parametrage off rant la possibility de rajouter de 
reformation (L6gende, Illustrations graphiques, 
Synnboles, filches...) ainsi que d'agir sur certains 
facteurs de representation de la dite scene (selec- 
tion des trajets a afficher. mode de representation s 
des mobiles, nombres de position remanentes...). 

c) Un module d'animation graphique 3D caracterise 
en ce qu'il propose une animation graphique de la 
scene choisie en 3 dimensions suivant le point de 
vue choisi par I'utilisateur (visualisation artificielle u> 
multi-points de vue). 

d) Un module de representation graphique prenant 
en compte le cumul de n sequences analysees et 
caracterise en ce qu'il propose une visualisation 2D 
sous la forme d'une illustration graphique permet- 
tant de rajouter de reformation et d'attribuer un 
sens tactique a I'evenement choisi compose de n 
sequences analysees (visualisation des points 
d'impact de la balle, des secteurs potentiels d'inter- 
vention : des espaces effectifs occupes par les 20 
joueurs, les collectifs...). 

Le module de gestion de base de donnees (61 ) per- 
mettant d'effectuer des calculs statistiques sur un en- 
semble de sequences analysees et de stocker les diffe- 25 
rents traitements est caracterise en ce qu'il comporte: 

a) Un module de gestion statistique des differents 
calculs genets lors de I'analyse des sequences 

b) Un module de presentation des resultats issus 30 
du cumul de plusieurs sequences 

c) Un module d'archivage automatique des resul- 
tats obtenus 

d) Un module de formatage des donnees pour 
transmission vers des ordinateurs ou stations de 35 
travail distantes. 



Revendications 

40 

1. Systeme de suivi automatique de mobiles en temps 
reel sur un espace clos. notamment des joueurs 
evoluant sur un terrain de sports, comprenant une 
pluralite de cameras (10) en position fixe couvrant 
ledit espace clos et permettant des prises de vues 
desdits mobiles, des moyens d'acquisition (1, 7. 8) 
en temps reel de donnees numeriques concernant 
la position instantanee individuelle de chacun des- 
dits mobiles, lesdites donnees etant obtenues a 
partir des images fournies par ladite premiere plu- 50 
ralite de cameras, et des moyens (2) de production 
des trajectoires de chacun desdits mobiles a partir 
des donnees en temps reel fournies par lesdits 
moyens d'acquisition: 

ledit systeme etant caracterise en co qu'il 55 
comprend au moins une camera (11) en position 
mobile, asservie auxdits moyens de production des 
trajectoires. ces derniers commandant a un instant 



donne le positionnement et le fonctionnement de la 
ou des cameras en position mobile de facon a ob- 
tenir des donnees supplementaires sur un desdits 
mobiles. 

2. Systeme selon la revendication 1 , comprenant en 
outre des moyens d'assistance a la vision (3) inter- 
connects entre lesdits moyens de production des 
trajectoires (2) et la ou les cameras en position mo- 
bile (1 1 ) pour recevoir des requetes en provenance 
desdits moyens de production des trajectoires, et 
convertir lesdites requites en commandes du posi- 
tionnement et du fonctionnement d'au moins une 
camera en position mobile. 

3. Systeme selon la revendication 2. dans lequel les- 
dits moyens d'assistance a la vision (3) compren- 
nent 

une interface de dialogue (55) pour communi- 
quer avec lesdits moyens de production des 
trajectoires. 

un module d'ordonnancement et de planifica- 
tion (51) qui, en fonction de I'urgence des re- 
quetes en provenance desdits moyens de pro- 
duction des trajectoires, procede a fordonnan- 
cement desdites requetes, et 
un module de pilotage logiciel (52) des came- 
ras en position mobile (11) qui convert it lesdites 
requetes ordonnancees en series de comman- 
des d'au moins une camera en position mobile. 

4. Systeme selon I'une des revendications 1 a 3, dans 
lequel lesdits moyens d'acquisition de donnees 
comprennent une pluralite de tubes de suivi (1), un 
serveur d'images (7) et un serveur de donnees bru- 
tes (8), chacun desdits tubes etant associe respec- 
tivement a une camera de ladite pluralite de came- 
ras en position fixe (10) et comportant un calcula- 
tes de suivi (20) charge de mettre en oeuvre un 
algorithme de suivi et de detection des mobiles (21 ) 
de maniere a fournir les trajectoires desdits mobiles 
(21 ) audit serveur de donnees brutes et fournir des 
images compressees audit serveur d'images. 

5. Systeme selon la revendication 4, dans lequel les- 
dits moyens de production des trajectoires (2) com- 
prennent 

un module de construction des trajectoires (44) 
qui accede aux donnees emmagasinees dans 
ledit serveur de donnees brutes (8).* 
une table des correspondances (41 ) pour eta- 
blir les liens entre lesdits tubes de suivi ( 1 ) pour 
chaque mobile, 

une table de synchronisation lemporelle (40) 
pour reconstruire la trajectoire reelle de chaque 
mobile, 
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un module devaluation de la situation presents 
(45) pour detecter les cas de perte d'identifica- 
tion d'un mobile et de fagon generate les pro- 
blemes rencontres au cours du suivL 
un module de generation des requetes (46) s 
pour formuler des requetes auxdits moyens 
d'assistance a la vision en reponse audit mo- 
dule devaluation de la situation presents, et 
une interface de dialogue (47) chargee de 
transmettre les requetes auxdits moyens d'as- io 
sistance a la vision et en recevoir des repon- 
ses. 



rajouter de reformation et d'attribuer un sens tacti 
que a I'eA/enement choisi compose desdites se 
quences analysees. 



6. Systeme selon la revendication 5, dans lequel les- 
dits moyens de production des trajectoires (2) com- '5 
prennent en outre une base de regies (42) pour 
fournir audit module de generation des requetes 
(46) le traitement adapte au probleme rencontre, la- 
dite base de regies contenant des elements heuris- 
tiques et s'enrichissant au fur et a mesure des trai- 20 
tements. 

7. Systeme selon Tune des revendications 1 a 6 : com- 
prenant en outre une station d'operateurs (5) com- 
portant 2s 

un module de gestion des evenements (17) 
compose d'un clavier et d'un ecran permettant 
a un ou plusieurs operateurs de saisir en temps 
reel ou en temps differe, des informations con- 30 
cernant les mobiles, et 

un module de controle et correction (19) pour 
permettre a un ou plusieurs operateurs de re- 
soudre les problemes difficiles en temps reel. 

35 

8. Systeme selon la revendication 7, comprenant en 
outre des moyens de parametrage de systeme (4) 
interconnects entre lesdits moyens d'acquisition 
de donnees (1) et ladite station d'operateurs (5) 
pour permettre a un ou plusieurs operateurs de sai- -*o 
sir, au moyen de ladite station d'operateurs. les pa- 
rametres impliqu^s et en particulier Identification 
des mobiles. 



9. Systeme selon la revendication 7, comprenant en ^5 
outre un serveur de donnees traitees (9) recevant 
les donnees provenant desdits moyens de produc- 
tion des trajectoires (2) et comprenant un module 
de presentation interactive (60) permettant de vi- 
sualiser la trajectographie statique ou animee des so 
mobiles. 



10. Systeme selon la revendication 9, dans lequel ledit 
module de presentation interactive comprend des 
moyens de representation graphique prenant en 55 
compte le cumul de plusieurs sequences analysees 
qui permet a Toperateur une visualisation 2D sous 
la forme d'une illustration graphique permettant de 
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